🚀Compressive Transformer на PyTorch — открытая реализация одной из самых загадочных архитектур ИИ!
Если ты работаешь с длинными последовательностями (NLP, музыка, временные ряды), то стандартного Transformer'а уже может быть недостаточно. Здесь на сцену выходит Compressive Transformer — и теперь его можно изучать и запускать на PyTorch благодаря открытому проекту: 🔗http://k-a.in/pyt-comptr.html
🧠 В чём суть?
Compressive Transformer — это эволюция стандартного Transformer. Он не просто "запоминает" предыдущие токены, он сжимает память, позволяя сохранять ещё более дальний контекст без потери производительности. Это делает модель особенно ценной в задачах, где важно помнить, что происходило «много шагов назад».
📦 Что ты найдешь в проекте?
🔹 Полную реализацию на PyTorch, без зависимости от TensorFlow или сторонних обвязок 🔹 Механизм памяти с компрессией, который реально работает 🔹 Поддержка обучения и инференса на длинных последовательностях 🔹 Отличная база для экспериментов и исследований
🛠 Зачем это нужно?
• Чат-боты, которые не забывают, что ты писал 20 сообщений назад • Генерация музыки, где важна глобальная структура • Анализ логов и временных рядов, где значение имеет не только локальный, но и глобальный контекст
📚 Исходная архитектура была представлена DeepMind, но готовых репозиториев до сих пор крайне мало. Эта реализация — редкая возможность попробовать Compressive Transformer вживую.
🚀Compressive Transformer на PyTorch — открытая реализация одной из самых загадочных архитектур ИИ!
Если ты работаешь с длинными последовательностями (NLP, музыка, временные ряды), то стандартного Transformer'а уже может быть недостаточно. Здесь на сцену выходит Compressive Transformer — и теперь его можно изучать и запускать на PyTorch благодаря открытому проекту: 🔗http://k-a.in/pyt-comptr.html
🧠 В чём суть?
Compressive Transformer — это эволюция стандартного Transformer. Он не просто "запоминает" предыдущие токены, он сжимает память, позволяя сохранять ещё более дальний контекст без потери производительности. Это делает модель особенно ценной в задачах, где важно помнить, что происходило «много шагов назад».
📦 Что ты найдешь в проекте?
🔹 Полную реализацию на PyTorch, без зависимости от TensorFlow или сторонних обвязок 🔹 Механизм памяти с компрессией, который реально работает 🔹 Поддержка обучения и инференса на длинных последовательностях 🔹 Отличная база для экспериментов и исследований
🛠 Зачем это нужно?
• Чат-боты, которые не забывают, что ты писал 20 сообщений назад • Генерация музыки, где важна глобальная структура • Анализ логов и временных рядов, где значение имеет не только локальный, но и глобальный контекст
📚 Исходная архитектура была представлена DeepMind, но готовых репозиториев до сих пор крайне мало. Эта реализация — редкая возможность попробовать Compressive Transformer вживую.
Bitcoin is built on a distributed digital record called a blockchain. As the name implies, blockchain is a linked body of data, made up of units called blocks that contain information about each and every transaction, including date and time, total value, buyer and seller, and a unique identifying code for each exchange. Entries are strung together in chronological order, creating a digital chain of blocks. “Once a block is added to the blockchain, it becomes accessible to anyone who wishes to view it, acting as a public ledger of cryptocurrency transactions,” says Stacey Harris, consultant for Pelicoin, a network of cryptocurrency ATMs. Blockchain is decentralized, which means it’s not controlled by any one organization. “It’s like a Google Doc that anyone can work on,” says Buchi Okoro, CEO and co-founder of African cryptocurrency exchange Quidax. “Nobody owns it, but anyone who has a link can contribute to it. And as different people update it, your copy also gets updated.”
Pinterest (PINS) Stock Sinks As Market Gains
Pinterest (PINS) closed at $71.75 in the latest trading session, marking a -0.18% move from the prior day. This change lagged the S&P 500's daily gain of 0.1%. Meanwhile, the Dow gained 0.9%, and the Nasdaq, a tech-heavy index, lost 0.59%.
Heading into today, shares of the digital pinboard and shopping tool company had lost 17.41% over the past month, lagging the Computer and Technology sector's loss of 5.38% and the S&P 500's gain of 0.71% in that time.
Investors will be hoping for strength from PINS as it approaches its next earnings release. The company is expected to report EPS of $0.07, up 170% from the prior-year quarter. Our most recent consensus estimate is calling for quarterly revenue of $467.87 million, up 72.05% from the year-ago period.
